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Запропоновано використання еволюційних алгоритмів для формування топології глибоких 
нейронних мереж. 
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Тре иее ої еуоайопагу аїсогішпт5 Їог 5упірезі8 ої гороіоєіез ої деер пеигаї пебмогкКя 15 ргоровей. 
Кеуууогаз: Рагеїо, деер пеига! песмогК5, бепейс аїбогійрт. 


Вступ 

Штучні нейронні мережі - це структури, сформовані об'єднанням нейронів, які 
організовані у вхідний, вихідний та приховані шари. Нейронні мережі - потужний 
інструмент, який може бути використаний для вирішення широкого спектру задач. 

В даний час широке розповсюдження знайшли глибокі нейронні мережі, які 
складаються з двох частин: групи автоасоціативних мереж (автоенкодерів або машин 
Больцмана), які виконують попереднє навчання основної мережі, і основної мережі 
(багатошарового перцептрону), яка займається розв'язанням поставленої задачі. Однак, 
синтез оптимальної структури такої нейронної мережі (визначення кількості шарів, 
нейронів, зв'язків між нейронами) для вирішення поставленої задачі є доволі 
непростим завданням, оскільки, з одного боку, необхідно забезпечити якомога більшу 
точність вирішення поставленої задачі, а одним з факторів, які впливають на точність 
роботи є саме кількість нейронів. З іншого боку, для уникнення проблеми перенавчання 
та зменшення обчислювальної складності та підвищення швидкості роботи, необхідно 
мінімізувати кількість нейронів та зв'язків між ними. Зазвичай подібна дилема 
вирішується дизайнером нейромережі шляхом перебору різних конфігурацій ШНМ. 

В даній роботі пропонується для синтезу оптимальної структури штучних 
нейронних мереж скористатися еволюційними алгоритмами розв'язання задач 
багатокритеріальної оптимізації. 

Постановка задачі 

Визначити структуру глибокої нейронної мережі на основі навчальної вибірки, яка 
складається з пар (х., а), де х; - - вхідне значення, а; - - бажаний вихід мережі. 

Критерієм якості вирішення поставленої задачі виступають два критерії: 

1) мінімізація середньої квадратичної помилки роботи мережі. Обчислюється на 
основі перевірочної вибірки. 


їзі 
де у; - - отриманий вихід нейромережі, п - - кількість елементів вибірки. 
2) мінімізація загальної кількості нейронів у всіх шарах 
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де Кк -- кількість шарів в нейромережі, М; - - кількість нейронів у шарі /. 


Окрім того на розв'язок даної задачі накладаються обмеження: 
1) Максимальна кількість шарів Киах 
2) Максимальна кількість нейронів у кожному з шарів Мах 
3) Максимальне допустиме значення помилки пах 

Схема гібридного алгоритму для вирішення умовних багатокритеріальних 
задач оптимізації 

Для вирішення поставленої задачі умовної багатокритеріальної оптимізації 
структури нейронної мережі пропонується використати гібридний еволюційний 
алгоритм, опис якого представлено нижче. 

Вхід: М (розмір популяції), Мд (розмір архіву), Т (максимальне число поколінь), 

ре (ймовірність схрещування), ру (ймовірність мутації). 

Вихід: А (множина недомінованих особин). 

Крок 0. Ініціалізація: Випадковим чином генерується початкова популяція Ро. 
Хромосоми, що кодують кожну можливу топологію нейронної мережі мають вигляд: 


УИКур п МИТ У/21.... М/АЮ м УМпі о. М/п), 


де  Урі..Урк - Закодований у двійковому форматі вектор, що описує кількість 
нейронів у р-тому шарі нейронної мережі, п -- кількість шарів, К -- кількість біт, що 
використовується для кодування кожного значення (тена). 

Кожна хромосома буде відповідати певній архітектурі нейромережі. Кількість 
нейронів у першому та останньому шарі може визначатися задачею. В такому разі 
випадковим чином генеруються тільки решта компонент кожного вектора. 

Також створюємо порожній архів 40 - 41 задаємо 1 «0. 

Крок 1. Визначення пристосованості: Для кожної хромосоми з популяції та 
архіву будуємо відповідну їй нейронну мережу. Тобто, хромосомі У/(ми/і у/2 ... Ум) 
відповідатиме нейронна мережа, в якій буде у/ нейронів у першому шарі, ... му» 
нейронів у р-тому шарі і тд, р- /..п. 

Навчаємо кожну з отриманих мереж будь-яким з допустимих методів навчання. 
Для кожної з нейромереж обчислюємо середню квадратичну помилку 8, її роботи на 
контрольній вибірці даних та суму нейронів у всіх шарах 5, 

Обчислена для кожної нейромережі помилка та сума нейронів використовується 
для визначення ефективного по Парето рішення та знаходження значень функцій 
пристосованості для кожної хромосоми відповідно до описаної нижче процедури: 

1.1. Кожній особині в архіві А; та популяції Р, присвоюється значення сили 5), 

яке представляє кількість особин, які дана особина домінує: 


бе ЛІЄ Род лі» 
де операція || визначає кількість елементів у множині, 1 - 1,М, / с 1, М 


1.2. На основі значення 5/1) розраховується "грубе" (там/) значення функції 
пристосованості К(ї) особини ї: 


кі)- 2,5 () 
ієРІЧА,, | і 
1.3. Для кожної особини і вираховується декартова відстань від неї до решти 
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особин ) в архіві та популяції. Всі розраховані відстані для даної особини додаються у 
список і сортуються за зростанням. К-тий елемент такого списку для особини і 
позначимо як о. 

Розраховуємо значення щільності Ді) для особини і: 


рі)а-у ке мч М.) 
с; 12 


1 


1.4. Остаточне значення функції пристосованості К(ї) для особини і визначається, 
як 


К(і) з К(і) - Ді) 


Крок 2. Модернізація архіву. Створити проміжний архів А;"- Р. 
а) скопіювати особини, чиї вектори рішень недоміновані щодо Р); в А". 
6) видалити тих індивідів з А; "7, чиї відповідні вектори рішень слабко доміновані 
щодо А. 
в) зменшити число індивідів, що зберігаються в архіві, і помістити результуючу 
зменшену множину особин в А. Для зменшення кількості індивидів в архіві 
використовується наступна процедура: 
2.1. Всі недоміновані особини (значення функцій пристосованості яких менше 
1) з архіву 1 популяції копіюються в архів наступної ітерації: 


для ціЄРОАЛ ЕІ) «Ці є 1, 


2.2. Якщо розмір утвореного архіву відповідає бажаному (ІА. ЕМА), то кластеризація 
завершується. Інакше можливі дві ситуації: 

2.За. Розмір утвореного архіву менше бажаного (Ан | ХМ). 

У цьому випадку особини з об'єднаної множини Р, Ч- А, сортуються у порядку 
зростання значень | їх функцій пристосованості і перші Ма - |Аїні, особин з 
відсортованої множини копіюються в архів Аїчі 

2.36. Розмір утвореного архіву більше бажаного(|А- |) МА). 

У цьому випадку починається процедура зменшення розміру архіву, яка ітеративно 
видаляє особини з Аї-/, поки |А, ДЕМА: 

1) Створюємо порожній список Д 

2) Для кожної особини і обчислюється її декартова відстань 4(ї,)) до всіх решти особин 
). Найменша з отриманих відстаней додається до списку 


рРрерча,а з тіпа(і, )) 


3) Значення отриманого списку Ї) сортуються за зростанням. Особина, що відповідає 
найменшому значення зі списку Р видаляється з архіву. 
4) Даний процес повторюється, поки архів не досягне бажаного розміру Ма. 

Крок 3. Ранжування: Особини в популяції сортуються за значеннями функцій 
пристосованості за спаданнями (від найкращої особини до найгіршої) 

Крок 4. Групування: особини діляться на групи, кожна з яких складається з двох 
особин. Ці дві особини обираються з початку списку відсортованих особин. 

Крок 5. Схрещування і мутація: в кожній зі сформованих груп відбувається 
схрещування (кросовер) та мутація. 
Схрещування. Для будь-яких двох індивідів необхідність виконання операції 
схрещування визначається випадковим чином: 
5.1) Випадковим чином генерується число ре" з проміжку |0,1). Отримане число 
порівнюється із заданою ймовірністю схрещування. 
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Якщо ре" » ре, то схрещування не відбувається і батьківські особини залишаються 
без змін. У протилежному випадку - - відбувається процес схрещування (див. пункг 3.2). 
5.2) В даному алгоритмі використовується варіант одноточкового кроссоверу -- два 
вибраних "батьки" перерізуються у випадково обраній точці, після чого їх хромосоми 
обмінюються своїми фрагментами. 

Мутація. Необхідність виконання мутації визначається аналогічно до подібної для 
операції схрещування: 

5.3) Випадковим чином генерується число ри з проміжку |0,1). Отримане число 
порівнюється із заданою ймовірністю мутації. 

Якщо ри? » ри, То мутація не відбувається і батьківські особини залишаються без змін. 
У протилежному випадку - - відбувається процес мутації (див. пункт 2.4). 

5.4) Мутація пов'язана з випадковою зміною одного чи декількох генів у хромосомі. З двох 
батьківських особин формується дві дочірні особини. Батьківські особини видаляються 
з групи. 

Крок 6. Усі дочірні особини об'єднуються у одну групу, яка стає новою 
популяцією Р.. 

Крок 7. Закінчення: Покласти Ру - А; 11 с 1 4. Якщо / 2 Т або виконується 
якийсь інший критерій зупинки, тоді А; - є шукана множина розв'язків, інакше перейти 
на крок І. 

Крок 8. "Лікування точок" 

Еволюційні алгоритми непогано справляються з безумовними задачами 
багатокритеріальної оптимізації, але при розв'язанні задач з обмеженнями отримані 
рішення не завжди задовільні: 

е-. вони можуть не містити точку умовного максимуму 

е. результуючі точки можуть бути розкидані в пошуковому просторі 

е. частина із знайдених рішень може лежати за межами дозволеної області 

Для юусунення виявлених недоліків генетичних алгоритмів пропонується 
проводити «лікування» (уточнення) недомінованих точок, отриманих після зупинки 
генетичного алгоритму. 

8.1. Вибрати деякий початковий допустимий розв'язок (хромосому) Х 

8.2. Сформувати множину хромосом У - (у, ..., ук, де хромосома у; отримана 
внаслідок мутації /-го біту хромосоми Х, і - 1,К, К -- кількість бітів в хромосомі. 

8.3. Обчислити значення функцій пристосованості для всіх хромосом з множини У, 
використовуючи процедуру описану на кроці 2 та обрати серед них хромосому У" з 
найкращим значенням функції пристосованості 

8.4. Якщо Е (У?) х Е (Х) (для задачі максимізації), то розв'язок Х є найкращим в даному 
околі. Переходимо до кроку 8.1 та обираємо наступну точку для покращення, доки не 
будуть "вилікувані" усі розв'язки. 

8.5. Інакше, покласти Х - У". Перейти на крок 8.2. 

Крок 9. Ліквідація згустків точок 

9.1. Для кожного індивіда 7 Є А утворюємо окремий кластер С. 

9.2. Якщо |С| 2 Ма, перейти на Крок 9.5, інакше перейти на Крок 9.3. 

9.3. Обчислити відстань між усіма можливими парами кластерів. Віддаленість а, двох 
кластерів С: 1 С; Є С визначається як середня відстань між парами індивідів, що 


належать цим кластерам: 
1 
ве СПРЕЇ 92 | 
і . се зсЄС; 
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де оператор |.|відображає евклідову відстань (в просторі цілей) між двома 
особинами с: та с;, оператор |.| визначає кількість елементів у множині. 
9.4. Визначити два кластери С; і С; Є С з мінімальним відстанню а. Об'єднати ці 
кластери в один більший за розміром кластер С; та перейти на крок 9.2. 


СуяСОС; 
9.5. Для кожного кластера вибрати репрезентативного індивіда, а всіх інших індивідів з 
нього видалити. (Таким чином, репрезентативний індивід -- це центроїд, точка з 


мінімальною середньою відстанню до всіх інших точок кластера.) Визначити 
зменшений архів шляхом об'єднання репрезентативних індивідів всіх кластерів. 

Отримана в результаті роботи запропонованого алгоритму апроксимація множини 
Парето є репрезентативною - точки рівномірно розподілені, згущення відсутні, 
домінованих точок немає. 

Висновки 

Запропонований алгоритм, який дозволяє отримати набір глибоких нейронних 
мереж оптимальної конфігурації з точки зору точності роботи та складності, додатково 
враховуючи можливі обмеження щодо результуючої топології. 
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КЕ5ОМЕ 

Ю. У. Кома, У.М. 5іпезіалоу, О.І. СпитасрепКко 

5упіезі8 ої оріїта! 5ігисібиге ої деер пейгаї пебууогК 

Тріз5 рарег 15 деуоед іо фе Фезієп ої а пеуу аїсогійбт Їог 5ігисіиге-рагатеїтісаї 
зупфезіз ої Деер ВеПпеї пегуогк5 (ЮВМ'8). ОВМ'8 аге сепегайуєе птодеїя ай сопіаїп папу 
Іауег5 ої рідеп уагіабіе5. Тре таїп Бийадтеє бБіоск ої а ОВМ 15 а бірагііе иппаїгесівд 
бгарпісаї піодеї саПе а гезігісіед Воїлтапп пасріпе (АВМ). А 8о0а езіїтаїе ої Фе 
рагайоп ТГипспоп ууоцід Бе ехігете!у Пре!рійці їог тоде! 5еіеспоп апа їог сопігоШтє поаеі 
согаріехісу, мпіср аге шпрогіапі їог птакіпє КВМ'8 репегайле муеії. П і5 ітрогіапі іо 
десгеа5е Ше сотріехігу ої ОВМ5 ипдег ассигасу рге5егуацоп. 

Тре ргоровед аїсогіфт 15 Базед оп еуоїийопа! арргоасі ог Фе 50/ийоп ої сопдїйопаї! 
тиїйсгіегіоп ргобіет. Басп срготоботе умі согезропа 0 а сегіаїп пейга! пеїмогк 
агспітесіиге. Тре питбег ої пейгопя5 іп Ше біг5ї апа Іазі Іауег сап Бе дегегтіпедй Бу їРе (азК. 
Іа із са5е, опіу Ше гез5( ої Ше сотропепіз ої еасі уесіог аге гапдотіу єепегатеа. 

Ії 15 сопзідегед Ше ргоседиге ої (гап5їогтпайоп біз ргобіегті іпіо ишпсопаїопаї 
тиїйсгіегіоп ргобіет. Дезсгібеад аїсогіїдті аптопе подійед єепейс орегаїогя а5 сго85о0уег 
апа птисацйоп, аї5о ц5е5 Рагего допипапсе сопсері Їог еуаїшайоп ої Піпе55 уаїце Їог еасП 
іпфуідца! (апа соггезропдїпо пейга| пебууогк 5ігисіиге а5 гезції) апа  аї5о іпсіцдез 
аддаїнопа! зіеря ("спготоботе Ппеайп?? апа сІпзіегіпе, мпісі єпагапіее, Шаї 58еї ої гесеіус 
50Їийоп5 ул іпсішде орійта! 5(гисіиге апа іпсгеа5е 1(5 гергезепіайуєепев5 - пипабег ої 
сотрейпє роз8ібіІе з0Ї1ицпоп5. 

Тре цее ої Ше аїсогійт регтіїз іо деїегпаиїпе Ше диапійу ої Іауег5, пепгоп5 іп еуегу 
Їаусг ої Ба5ед пебуогК апа соггезропаїпеїЇу Ше диапіту ої КВМ5 мбіср іпсішдае Фе ОВУ. 
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